Des chercheurs proposent un répertoire unifié des risques de l’intelligence artificielle

Après analyse systématique de la littérature relative aux risques de l’intelligence artificielle, une équipe de chercheurs propose un répertoire unifié de plus de 700 d’entre eux. Le but : faciliter la considération de ces problèmes pour tous les acteurs, techniques, business, politiques ou juridiques, interagissant avec le domaine.

L’intelligence artificielle présente des risques, nous en avons parlé à des multiples reprises dans ces pages. Mais comment s’y retrouver pour les atténuer efficacement ? Comment s’assurer que toutes les parties prenantes du secteur, chercheurs, constructeurs, auditeurs, régulateurs, etc, s’entendent sur ce qu’est un risque comme sur les solutions à y proposer ?

• L’assistant IA de Slack peut fuiter des infos de canaux privés via une injection de prompt

Pour répondre à ce problème, une dizaine de chercheurs affiliés au MIT, aux États-Unis, à l’Université du Queensland, en Australie, à l’Université Catholique de Louvain, en Belgique, ou encore au Future of Life Institute, association installée dans plusieurs pays, viennent de publier un répertoire des risques que pose l’intelligence artificielle.

Pensé comme un « cadre commun » à partager entre tous les acteurs susceptibles d’influer sur le développement de systèmes d’IA spécifique comme de l’industrie en général, le projet a recensé plus de 700 risques extraits de 43 travaux précédents.

Ses auteurs le rendent disponible sur un site web dédié, donnant la possibilité de copier leur base de données dans un Google Sheets ou un OneDrive.

Deux taxonomies pour clarifier

Pour établir leur base de données, les auteurs du projet ont opéré une revue systématique de la littérature scientifique et de la littérature grise relative aux risques de l’intelligence artificielle. Après en avoir extrait 777 risques différents, ils les ont réunis et synthétisés en créant une double classification :

• une taxonomie causale des risques s’emploie à catégoriser quand, comment et pourquoi un système d’IA provoque un risque spécifique. Parmi les paramètres permettant cette classification : la source du risque, prouve comme humaine ou technique ; l’intentionnalité du problème (intentionnel ou non) ; et la temporalité du risque (avant ou après le déploiement).

• IA : Prompt injection, empoisonnement… de quoi on parle ?

• Une taxonomie des domaines classifie ces risques en sept domaines – discrimination et toxicité ; sécurité et vie privée ; désinformations ; acteurs malveillants et mésusage ; interaction humain-machine ; dommages socioéconomiques et environnementaux ; sécurité des systèmes d’IA, défauts et limitations. Ces derniers sont à leur tour re-divisés en 23 sous-domaines dont le but est de permettre l’appréhension fine des risques posés par les technologies d’IA.

• Fantasmes et vrais dangers de l’intelligence artificielle sur la cybersécurité

Une base susceptible d'être étendue

Les auteurs de ce répertoire le décrivent comme le premier, « à leur connaissance », qui détaille aussi précisément les risques associés aux systèmes d’IA. Pour autant, ils soulignent plusieurs de ces limitations, dont la première concerne le champ de la classification proposée.

Aussi large soit-elle, celle-ci ne s’appuie que sur une fraction des multiples travaux qu’ils ont pu recenser s’intéressant à la question des risques de l’IA (43 classifications sur plus de 17 000 documents de recherche scientifique et de littérature grise sur les risques de l’IA).

Leur travail peut aussi paraître trop généraliste pour certains cas d’usage ou, dit autrement, ne pas intégrer les risques spécifiques à certaines applications d’IA spécifiques à un domaine. Sa validité est évidemment limitée dans le temps : il ne prend pas en compte les risques émergents ou non encore rendus publics. Et peut-être sujet à des biais.

Pour contrebalancer ces derniers, ses auteurs recommandent plusieurs autres classifications avec lesquelles comparer les résultats de leur classification. Parmi ces derniers, la base ATT&CK (Adversarial Tactics, Technics and Common Knowledge) de MITRE, l’AI Risk Database, développée à destination des entreprises utilisant de l’intelligence artificielle dans leurs opérations, ou encore la base open source AI Vulnerability Database.

Des risques principalement causés par les machines, après son déploiement

Ce travail leur a déjà permis de relever diverses tendances, publiées dans un article scientifique non révisé par les pairs (preprint, .pdf). Parmi ces dernières, plus de la moitié (51 %) des risques analysés sont causés par la machine, contre 34 % par des humains. Par ailleurs, près des deux tiers (65 %) se déclarent après l’entraînement et le déploiement d’un système, et non avant (10 %).

La classification par domaine permet aussi de constater que les risques relatifs à la sécurité des systèmes, aux dommages socioéconomiques et environnementaux, ou encore à la discrimination et la toxicité sont discutés dans plus de 70 % des travaux scientifiques analysés. En revanche, les risques relatifs aux interactions humain-machine et à la désinformation sont étudiés dans moins d'un cas sur deux.

Parmi les sous-domaines établis par les auteurs du projet, ceux-ci constatent aussi que certains risques, notamment ceux relatifs à la discrimination, à la possibilité qu’un système d’IA poursuive ses propres objectifs plutôt que ceux fixés par les humains, ou encore le manque de robustesse des modèles sont beaucoup plus fréquemment analysés que d’autres.

À l’inverse, les risques liés à la pollution de l’écosystème informationnel, aux droits potentiels des systèmes d’IA, ou encore aux dynamiques de concurrence entre constructeurs d’IA sont plutôt moins explorés que les autres types de risques.

• Lutte contre la désinformation : l’OCDE plaide pour la coopération tous azimuts